TMallGS: Scaling Unified Feature and Sequence Modeling for Generative E-commerce Search
TMallGS：面向生成式电商搜索的统一特征与序列建模扩展
🧭 搜索排序 · 计算密集型架构扩展 ★ 深度解读
Southeast University · Taobao & Tmall Group of Alibaba · Peking University
通过解耦语义交互与信号保留的Transformer架构，首次在搜索排序中实现Scaling Law并带来显著GMV提升
📌 工作参考价值（4 点）
- 分层tokenization平衡异构特征：利用Field-wise Saliency Reweighting（FSR）做全局裁剪，再用Distribution-Calibrated Projection（DCP）以校准Swish替代SwiGLU，在降低33% FLOPs的同时保持精度，适合电商搜索中大量稀疏ID与稠密统计特征的混合输入。
- 解耦晚期融合保留强匹配信号：将Q2I匹配分等显式交叉特征通过FiLM作为调制信号，而非直接输入注意力流，避免深层Transformer过度平滑，可直接迁移至需精准相关性匹配的排序场景（如广告、搜索重排）。
- Error-Aware Progressive Training：用浅层预测误差为深层样本动态加权，实现自适应课程学习，改善稀疏反馈下深层网络的梯度消失；可将该策略应用于任何深层排序模型的训练，提升收敛速度和排序指标。
- Context-Aware Bias Net正交化解耦偏差：用全局上下文锚点的深层编码学习位置/页面等偏差，与主语义logit加法融合，在pairwise loss中自动抵消，确保GAUC优化不被全局点击先验干扰，适用于所有需在请求内做相对排序的工业系统。